LongDS-Bench: On the Failure of Long-Horizon Agentic Data Analysis
LongDS-Bench：长程智能体数据分析评测基准
🧭 长时程智能体数据分析评测
Zhejiang University · Ant Group · Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph
长时程数据分析任务中揭示状态维护（而非交互步数）是智能体核心瓶颈的评测基准
📌 工作参考价值（4 点）
- 电商智能体长会话建模：借鉴 LongDS 的状态演化任务设计（回滚、反事实扰动），评估和优化多轮会话中的状态长期记忆与追索能力。
- 状态维持优先：实验表明增加额外步骤不必然提升准确率，提示在工程实现中应优先投资显式状态管理（结构化缓存、中间结果索引）而非盲目提高交互预算。
- 错误恢复机制：长程错误占比 52-69%，可在智能体 pipeline 中引入检查点备份与状态回滚策略，提升长任务鲁棒性。
- 推荐 Agent 评测：对于多轮对话推荐或自动化分析 Agent，可参考依赖跨度指标和状态组合模式，构建更贴近真实长期交互的离线评测。